Assistants APIの本質的な価値

Assistants APIの存在価値とは？？

一度は、疑問に思ったことはないだろうか？

OpenAIのChat APIでは、テキスト生成ができる。

Image APIではDALL-E3画像生成ができる。

Vision APIで、画像認識ができる。

Audio APIは、Whisperモデルに基づき、音声からテキスト生成、テキストから音声に変換できる。

何でもできるじゃん...

Assistant API is 何？？

Before Assistants API (GPTs)で、できないこと

以下のような、複雑なユースケースに対応できない。

世に出回っている知識でしか答えられない。

社内データやPDFなどを読ませて回答させる、などの特殊知識を付与して回答させることができない。

外部APIの実行ができず、その結果を元にした回答ができない。

Web検索ができない。

インターネット上のコンテンツや検索結果を用いた回答の生成をさせることができない。

分析やコード実行ができない。

Code Interpreter APIがないのである。

専門用語を使えば、従来のChat APIはステートレスであり

Copilot stackのオーケストレーションレイヤーの全てを、開発者が気にしなければならなかった。

つまり...

ユーザーとアシスタントとの会話履歴の管理

モデルの最大トークンに合わせた、メッセージの切り捨て

実行すべきツール(Code Interpreter、ChatGPTのWeb Browsing機能やFunction callingで定義された外部API)の推論および実行制御(ReAct)

これらを実装するには、LlamaIndexやLangChainでAgent機能を実装する必要があった。

が実用レベルに落とし込むには、かなり大変だった。

これらの問題を、全てAssistants APIは解決した。

上に挙げた、Web検索・Retrieval機能・Code Interpreter機能・Function機能を、全てになってくれる。

そして驚きなのが

タスクに応じてどの機能を使うかを、あなたの代わりに勝手に考えて、実行してくれるということ。

ユーザーとの会話をスレッドに保存できる(ステートレスな Chat Completions API であるのに比べて、ステートフルなAPI)

だからこそ、アシスタント(秘書)と呼ばれるのだ。